EviRank: Evidence-Based Confidence Estimation for LLM-Based Ranking
EviRank：基于证据的 LLM 排序置信度估计
🧭 LLM 重排序 · 置信度估计 ★ 深度解读
Xidian University
通过单次前向传播提取三种证据并融合，实现位置级置信度估计与重排序，同时提升推荐质量和不确定性建模。
📌 工作参考价值（4 点）
- 可直接复用单次前向传播提取置信度的思路：从 LLM 的 hidden state 计算语义差距、注意力熵、输出概率差，无需多轮采样，推理零额外开销，适合在线重排场景。
- 位置感知校准的 NDCG 折扣目标可迁移至电商推荐：将置信度校准为与位置重要性一致，用 (confidence * NDCG weight) 进行 sigmoid 映射，缓解 LLM 输出概率普遍偏低的扁平分布问题。
- 可靠意见聚合中的可靠性系数值得借鉴：按各证据源自身的不确定性动态加权融合，比简单平均或 Dempster 组合更鲁棒，可应用于多信号融合的 Agent 决策或排序融合。
- 置信度加权重排公式简洁有效：用置信度缩放 logits 再 softmax，结合 BPR 损失端到端训练，可直接嵌入现有 LLM4Rerank 管道，适合电商场景中候选集重排。